• 一方面，像vllm、ollama、ragflow、llama.cpp和huggingface/transformers这样的项目占据主导地位，这表明贡献者正在投资 AI 的基础层——模型运行时、推理引擎和编排框架。• 另一方面，像vscode、godot、

模型 llm download dir vllm 2025-11-18 13:45  5

很多团队把它vLLM 当 demo 跑，但是其实这没把它系统能力发挥出来。这篇文章将介绍怎么让 vLLM 真正干活——持续输出高令牌/秒，哪些参数真正有用，以及怎么在延迟和成本之间做取舍。

prompt 批处理 kv vllm vllm性能 2025-10-24 13:38  4

高效的内存管理：通过 PagedAttention 算法， vLLM 实现了对 KV 缓存的高效管理，减少了内存浪费，优化了模型的运行效率。高吞吐量： vLLM 支持异步处理和连续批处理请求，显著提高了模型推理的吞吐量，加速了文本生成和处理速度。易用性： vL

llm 深度学习 prompt vllm 阶乘 2025-09-28 12:04  6

KV Cache 传递是 vLLM 实现 PD（Prefill-Decode）分离的核心技术之一，其性能与稳定性直接关系到整个推理系统的效率。本文将系统探讨 KV Cache 传递过程中的关键问题。

schedule kv cache vllm kvcache 2025-09-25 04:11  8

大语言模型（LLM）的训练过程因巨大的计算需求和突破性的成果而备受关注，然而决定这些模型在现实世界中实用性和广泛采用的关键，却是在推理（Inference）阶段的效率、成本和延迟。推理的定义是，一个经过训练的 AI 模型将其学到的知识应用于全新的、未见过的数据

模型 推理 github vllm sglang 2025-09-24 12:34  10